เจ้าพระยาภาณุวงศ์มหาโกษาธิบดีมีบุตรธิดารวม 25 คน เป็นชาย 17 คน หญิง 8 คน โดย สมรสกับคุณหญิงสุ่น มีบุตร 2 คน ได้แก่

• พระยาราชานุประพันธ์ (สุดใจ บุนนาค)
• พระยาราชานุประพันธ์ (ทุ้ย บุนนาค)

และมีบุตรธิดากับภรรยาอื่น ที่สำคัญ ได้แก่

• พระยาราชานุประพันธ์ (เปีย บุนนาค)
• ขุนหลวงพระยาไกรสี (เทียม บุนนาค)
• พระยาจำนงดิฐการ (เทพ บุนนาค)
• พระยาธรรมสารเนติ (ถึก บุนนาค)
• หลวงเทพประกาศ (ทิว บุนนาค)
• พระศรีธรรมสาส์น (แทน บุนนาค) เป็นพี่น้องกับสมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศ์ ภรรยาเอกคือ กลิ่น บุนนาค ธิดา ลิ้ม บุนนาค ราชินิกูลนนาคในชั้นที่เจ็ดและแปดในปัจจุบัน การสืบสกุลบุนนาคสายตรงเเละสายที่เเตกออกไปนั้นได้เเก่ กนุท ชำนาญกิจ บุตรของอุไร อิศรางกูร ณ อยุธยา กฤษนา อิศรางกูร ณ อยุธยา ทิพย์ เทพหัสดิน ณ อยุธยา ยสฬิ์ศิวะ อิสรสิงหนาท (บุนนาค) หลานย่าสายราชสกุลอิศรางกูร เเละสืบสายตรงจากท่านลิ้ม บุนนาค เป็นคณะทำงาน กระทรวงยุติธรรม อิสรสิงหนาท เป็นนามสกุลส่วนนึงในพระนามของสมเด็จกรมพระราชวังบวรมหาสุรสิงหนาท พระอนุชาธิราชร่วมพระชนกชนนีกับพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช สำหรับผู้ที่จะเป็นผู้นำในการสืบสกุลบุนนาคสายตรงเเละสายที่เเตกออกไปนั้น พระบาทสมเด็จพระเจ้าอยู่หัวจะทรงพระกรุณาโปรดเกล้าฯ ให้ท่านผู้นั้นเป็นผู้รักษาสมบัติสำหรับสกุลบุนนาค คือ อัฐิเจ้าคุณพระราชพันธุ์ผู้เป็นต้นสกุล ได้แก่ อัฐิของเจ้าพระยาอรรคมหาเสนา (บุนนาค) กับเจ้าคุณนวล และสิ่งของบางอย่างซึ่งพระบาทสมเด็จพระเจ้า อยู่หัวแต่ละพระองค์พระราชทานแก่สมเด็จเจ้าพระยาฯ อาทิเช่น พระทนต์ในพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช ซึ่งได้พระราชทานให้เจ้าพระยาอรรคมหาเสนา (บุนนาค) เก็บรักษาไว้เมื่อครั้งยังทรงพระชนม์อยู่ สมบัติดังกล่าวนี้รักษามาตั้งแต่ครั้งสมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศ์ (ช่วง บุนนาค) และพระบาทสมเด็จ พระเจ้าอยู่หัวรัชกาลที่ ๕ ทรงมอบให้เจ้าพระยาสุรวงศ์ไวยวัฒน์ (วร บุนนาค) รักษาสืบต่อมา เมื่อท่านถึงแก่อสัญกรรม ก็โปรดเกล้าฯ ให้เจ้าพระยาสุรวงศ์วัฒนศักดิ์ (โต บุนนาค) รักษาสมบัติสำหรับสกุลสืบต่อมา และเมื่อท่านถึงแก่อสัญกรรม ก็ทรงพระกรุณาโปรดเกล้าฯ ให้พระยาสุริยานุวงศ์ประวัติ (เต็น บุนนาค) เป็นผู้รักษาสมบัติสำหรับสกุลสืบต่อมาจนถึงแผ่นดินสมัยรัชกาล ที่ ๖